{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 7.5 1D卷积网络分类过程分析"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 7.5.1 网络结构  \n",
    "![1](IMG75/1.png) \n",
    "第一个隐层为含有三个节点的全连接层  \n",
    "第二个隐层为含有两个1x2卷积的卷积层  \n",
    "第三个隐层为池化层（最大池化）"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 7.5.2 第一个隐层的特征空间剖分情况\n",
    "![2](IMG75/2.png) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![3](IMG75/3.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![4](IMG75/4.png) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "第一个隐层的输入空间为原始输入数据的二维空间，该隐层每个节点均对输入空间进行一次划分  \n",
    "每一次划分将输入空间划分为两个部分，分别为激活区域（红色区域）和未激活区域（蓝色区域）  \n",
    "第一个隐层中的三个节点根据各自的激活与否，将输入空间划分为了七个小区域"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![5](IMG75/5.png) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "在输入数据经过第一个隐层后，根据三个节点的激活与否，原始二维空间中的数据点映射到了如上图所示的三维空间  \n",
    "坐标原点上的点表示在第一个隐层中三个节点均不激活的点  \n",
    "坐标轴（不含原点）上的点表示在第一个隐层中只有一个节点激活的点  \n",
    "坐标平面（图中黄色区域）上的点表示在第一个隐层中有两个节点激活的点  \n",
    "坐标空间中的点表示在第一个隐层中三个节点全被激活的点"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 7.5.3 第二、三个隐层（卷积池化层）的特征空间剖分情况\n",
    "![6](IMG75/6.png) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "卷积池化层的输入空间为经第一个隐层变换后的三维空间，卷积层中含有两个1x1的卷积核，分别对上一层的输出进行两次卷积  \n",
    "卷积层中每个“节点”对应一次卷积操作  \n",
    "同一个卷积核进行卷积运算时，权重参数应相同，即图中全连接层和卷积层之间平行的连接线对应的权重参数相同"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 7.5.3.1 第一个卷积池化对特征空间的剖分情况"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![7](IMG75/7.png) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![8](IMG75/8.png) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![9](IMG75/9.png) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "第一个卷积核的每次卷积操作均对输入空间产生一次划分，红色为激活（1），蓝色为不激活（0）  \n",
    "第一次卷积由于没有对z轴的数据进行卷积运算（网络结构图中全连接层第三个节点与卷积层第一个节点之间没有权重连接），因此划分的超平面与z轴平行  \n",
    "第二次卷积由于没有对x轴的数据进行卷积运算（网络结构图中全连接层第一个节点与卷积层第二个节点之间没有权重连接），因此划分的超平面与x轴平行  \n",
    "将两次卷积的结果做最大池化（两次卷积的结果“有红则红，全蓝则蓝”），得到池化层第一个节点对输入空间及其映射到原始空间中的划分"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 7.5.3.2 第二个卷积池化对特征空间的剖分情况"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![10](IMG75/10.png) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![11](IMG75/11.png) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![12](IMG75/12.png) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "第二个卷积核的每次卷积操作均对输入空间产生一次划分，红色为激活（1），蓝色为不激活（0），如图两次划分均没有切到输入空间的数据，因此数据经过此卷积核卷积后全部不激活   \n",
    "将两次卷积的结果做最大池化（两次卷积的结果“有红则红，全蓝则蓝”），得到池化层第二个节点对输入空间及原始空间的划分，同理数据经过卷积层第二个节点以后全部不激活  \n",
    "**并非每次训练都会有这样的结果**"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![13](IMG75/13.png) \n",
    "由于第二部分卷积池化并没有对数据进行切分，因此卷积池化层整体对原始数据的划分即第一部分的卷积池化对原始数据的划分结果  \n",
    "结合上一层对原始空间的划分结果，至此，原始数据在经过全连接层以及卷积池化层以后，一共被划分为了13个胞腔"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![14](IMG75/14.png)  \n",
    "在经过了卷积池化层的特征变换以后，数据重新变换到了二维，并且由于池化层第二个节点输出的数据全部不激活，因此最后一层输入数据的Y全部等于0"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 7.5.4 输出层的特征空间剖分情况  \n",
    "![15](IMG75/15.png) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![16](IMG75/16.png) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "输出层的节点对输入空间进行一次划分，本次划分映射到原始特征空间中的划分即为最终的分类结果"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![17](IMG75/17.png)  \n",
    "结合前两层对原始空间的划分结果，至此，原始数据在经过全连接层、卷积池化层及输出层以后，一共被划分为了19个胞腔"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}